这是一篇发表在《连线》杂志上的长文,作者 Steven Levy,享誉硅谷的科技记者、作家。
他从 2015 年开始,频繁地与 OpenAI 创始团队沟通、采访,在这篇文章里提到了很多外界不曾报道过的内幕。原文阅读时间超过一个小时,Founder Park 整理了部分关键信息,如下。
原文链接:
https://www.wired.com/story/what-openai-really-wants/
ChatGPT 发布之后,这家年轻的公司在世界各地引发冲击波。但这仅仅是个开始。
GPT-4 发布之后,Sam Altman 开启了他的全球巡回,不论在任何一个城市,Altman 享受着摇滚明星一样的待遇。人们会怎样记住那几个月的 Sam Altman 呢?Steven Levy 想象有一天,机器人书写人类的历史。它们这样定义那个时刻:一名低调却引人关注(quietly compelling) CEO,用一种打破范式的技术,试图将一种非常奇特的世界观,注入全球思维。他从旧金山一个无人问津的四层办公楼,走向了全世界。OpenAI 的员工们可能已经把建立 AGI 的梦想烙在了肉体上。在 OpenAI 的办公区,讨论「Build AGI」永远比「make it safe」更令员工们感到兴奋。他们假设,AI 的发展轨迹,将远超生物学所能达到的极限。OpenAI 的财务文件,甚至规定了一种应急退出措施,以防 AI 毁灭了人类的整个经济体系。只有 the faithful 能成为 OpenAI 的员工。记者 Levy 向 OpenAI 的高层提问,如果有人并不相信 AGI 真的会到来,他们能否在 OpenAI 舒适工作?「为什么一个非信徒(nonbeliever)想要在这里工作?」高管们不理解。Altman 会说,如果你被录用,那一瞬间你就不可避免地被吸引到他们的魔咒里。「那是 2015 年,我们开始招人的时候,那时候你让一个 AI 研究员说 AGI 值得认真对待的话,这个人的职业生涯就完了。」Sam Altman 在拿到各方资金后,开始偷偷组建团队,「但我就是想要那些认真对待它的人。」Greg Brockman、Andrej Karpathy、Ilya Sutskever,他们都是这样的人。Ilya Sutskever,从俄罗斯移民到以色列,再移民加拿大,在多伦多大学,成为 Geoffrey Hinton 的门徒。就连 Hinton 也惊讶于 Sutskever 的天分。Hinton 早期给 Sutskever 安排了一个复杂的项目,但 Sutskever 厌烦了写代码来做必要的计算,他告诉 Hinton,如果他为这个任务编写一种定制编程语言,会更容易搞定。Hinton 有些恼火,警告学生不要分心,他认为这么做会耽误一个月时间。「我今早写好了,」Sutskever 向老师坦白说。2015 年年中,Altman 给 Sutskever 写邮件,约他和马斯克、Brockman(当时 Stripe CTO)一起吃个晚饭。Sutskever 并不知道,那是专为他准备的局。他们讨论了 AGI 和人工智能发展的话题,聊了聊 Google 和 DeepMind 是否不可超越。没有人给 Sutskever 示意。但 Sutskever 聊兴奋了,不久后他给 Altman 写了一封邮件,大意是,「我来 lead」。不过并不是所有人都欣然接受 Altman 的邀请。卡马克,约翰·卡马克,传奇,拒绝了 Altman。Alec Radford,一个外界报道鲜有提到的 OpenAI 研究员,2016 年抱着加入个研究项目的心态接受 OpenAI 的 offer。他后来扮演的角色,就像 Larry Page 发明了 PageRank(Google 开始的地方)。他在 OpenAI 不知道该做什么,除了愿景一无所有的时候,开始了第一个实验:用 20 亿条 Reddit 评论训练语言模型。这个实验失败了,他当时 23 岁。当时的 CTO,现在的总裁 Brockman 说,小伙子很棒,让他再试试吧,let him do his thing。受限于算力,Radford 只能专注在单一领域的小数据集上实验。于是他选择了亚马逊电商评论,然后让语言模型可以简单地预测并生成用户评论的下一个字符。突然间,模型自己能够确定评论是积极的还是负面的,它能根据要求提供奉承或者苛刻的评论。后来,在 OpenAI,这被称为「无监督情绪神经元」。Sutskever 鼓励 Radford 将研究拓展到亚马逊评论之外的数据。不久后,2017 年,Attention is all you need 发表。Sutskever 是全世界个别几个真正理解 Transformer 有多么强大的人之一。Radford 开始尝试 Transformer 架构,「我在两周内取得的进展,比过去两年还要多。」「为了利用 Transformer,你需要扩大规模。」OpenAI 董事会成员,Quora CEO Adam D'Angelo 说,「你需要像一个工程组织一样运营它,不能让每个研究人员做自己喜欢的事情,炼自己的模型,发自己的论文。你必须做更乏味、不那么优雅的工作。」这是 2018 年,全世界都还没意识到,Altman 和 Musk 创办的 AI 实验室,开始正式的攀峰。Radford 把他们最终创建的模型其名为 generatively pretrained transformer。1.17 亿参数,包括书籍、Quora、初高中考试的文章等等,模型在理解语言和产生答案等方面超越了以往一切的人工智能。那是一个深夜,Radford 在 OpenAI 办公室,「我只是一遍又一遍的说,『行,挺酷,但我敢保证它做不了xxx』,我迅速编写一个评估测试,(然后发现,)行吧,它还真可以做xxx。」OpenAI是从什么时候意识到「Open」是很危险的?GPT-2。Radford 亲手做出了自己十年前读的科幻小说里的机器。在尼尔·史蒂芬森的《诅咒》一书中,互联网上充斥着垃圾邮件生成器。「我曾认为这真的很牵强,但随着我多年来在语言模型上的工作,随着我让它们变得更好,我不安地意识到,这是真正可能发生的。」OpenAI 与内外部的专家讨论,做了很多安全工作后,最终决定发布一个功能有所保留的版本,GPT-2。他想要拥有 OpenAI,收购多数股权。不只是一个没有商业回报的赞助者,他想要 OpenAI 像 Tesla、SpaceX、Neuralink、Boring Company 等等公司一样,成为「马斯克宇宙」的一员。他觉得 OpenAI 要抓住领先优势,他觉得 OpenAI 应该注重安全问题,不管怎样,他的解决方案只有一个:把一切都交给他。Altman 和 OpenAI 其他「智囊团」成员拒绝了马斯克。马斯克愤然退出 OpenAI 董事会。在全体员工会议上,马斯克完成了他的道别:他预测 OpenAI 必将失败,然后称呼至少一个研究人员为「蠢蛋」(jackass)。OpenAI 创建了营利性的实体,虽然表面上还是非营利组织的研究机构,但实际上绝大部分员工都在从事盈利业务。潜在投资者们却收到了一份奇怪的警告:不要期待投资回报。如果公司确实做出了AGI,会重新考虑财务安排。OpenAI 为盈利业务设定了上限,上限外的一切都将回归非营利研究机构。实现技术革命的终极使命,被编码在公司的组织规则里。在这里,董事会的工作不是监督会计财务,而是保证OpenAI忠于使命。聪明的投资者非但没被吓退,还加倍投下了赌注,OpenAI的员工同样争取自家的股权。公司的估值达到了30亿美元,只是股东列表里,没有Altman。回到融资。指数级跃迁的参数迭代背后,是靠着资金垒起来资源。像是《大白鲨》里的捕鱼猎人,摆在 OpenAI 面前的,是大白鲨一样庞大的目标,他们还不知道,需要建造多大的船。不过显然,在数十亿美元的风投回合中,只有少数几家公司能上牌桌。Microsoft 先后投入 13 亿美元,大型云提供商的支持,为 OpenAI 缩短了计算时间。Microsoft 也开始要求更多的东西:49% 的「非控制性股权」。这家科技巨头,获得了将 OpenAI 技术商业化的独家许可,还换得了对方只使用 Microsoft Azure 的承诺。即使没有从 OpenAI 的利润中分一杯羹,Microsoft 也能借助跟 OpenAI 的绑定,为 Azure 云计算服务锁定世界范围内最理想的新客户。所有的压力,来自全世界的无情关注,每个产品周期实现革命的目标,投资人的商业回报,被迫和全世界技术能力最强的商业巨头们站在同一个斗兽场里,还要承担起「守护人类」的使命,这些很有可能是一种削弱的力量。OpenAI 的创始人们,他们想要一个足够智能但安全的计算机,结束一段历史,将人类推入一个难以想象的慷慨时代。与巨头微软的亲密接触让 OpenAI 的口碑走向了另一个方向。马斯克声讨,称 OpenAI 从想要拯救雨林,变成了木材商。研究主管 Dario Amodei 和几位关键高管离职,创办了一家名为Anthropic 的竞对公司。现在 Claude 系列模型是 GPT 最大的竞争对手。GPT-2、GPT-3 的项目技术贡献者 Rewon Child,进入了 Inflection AI。在这些人看来,OpenAI 迷失了自己的使命,成了过于商业化的受害者。为什么在 GPT-4 已经震撼微软全家数月之后,才缓缓放出基于 GPT-3.5 的 ChatGPT?「迭代部署假设」(iterative deployment hypothesis)。Altman 称这是战略的一部分,虽然 OpenAI 内部有很多争议,但他坚持认为要让大众阶梯式地适应人工智能,适应即将到来的全新的时代。「有了 ChatGPT,我们可以引入对话,同时不必把后端功能做得太好,给用户慢慢适应。想一口气适应 GPT-4 要难得多。」Altman 解释道。Sutskever 的解释不太一样,他说,「你会想创造更大更强的智慧体,然后藏在自家地下室里吗?」「回顾工业革命,每个人都会觉得它对世界来说是一件好事,」OpenAI 政策研究院 Sandhini Agarwal 说道,「最初的 50 年真的很痛苦。很多失业、很多贫困,在这之后世界才适应了。」 产品本身、商业化公司、与微软的关系、开发者生态系统、应用商店,还有 AGI 的研究。「这些是不同的文化,事实上,它们与研究任务是有有冲突的。」以为 AI 行业的高管对 Levy 说。
AGI Doer Talk 是什么?
AGI Doer Talk 是 Founder Park 旗下的早期创业者分享系列。
我们通过一系列围绕 AI × 垂直话题展开的线上研讨会,为从业者们提供相互切磋和友好讨论的环境。
我们也邀请更多关注大模型行业的朋友们,一起来探讨 AGI 时代的非共识和认知,跟上大模型引发的新范式革命。
如果你正在大模型领域进行创业,已经拥有产品Demo,也想通过AGI Doer Talk进行交流分享,欢迎扫码报名👇:
如果你关注大模型领域,欢迎扫码加入我们的大模型交流群,来一起探讨大模型时代的共识和认知,跟上大模型时代的这股浪潮。AI生成的烂图,居然可以反过来「微调模型」?
大模型下半场,关于Agent的几个疑问
百川智能发布53B大模型,今年追上GPT-3.5 ,并将更新开源模型
卷起来了!中文 LLaMA2 的一些工作
无法想象全闭源的世界:AGI 大会上的开源讨论
周鸿祎的大模型产品方法论:企业的5个痛点和垂直大模型的6个趋势
傅盛的AI-Native创业思考:所有创业者都要相信,这就是最好的时代
百川智能王小川:大模型创业100天,我确认找到了属于我的「无人区」